AI Papers Daily

#Block Drafting

2 篇

ProVe: Proposer-Verifier Decoding

ProVe：提案者-验证者解码

🧭 LLM 推理加速 · 提案-验证解码

把大模型微调为一次预测多 token 的 proposer，再以小模型或自身验证，取得 2.5–2.7× 解码加速

📌 工作参考价值（4 点）

• 在延迟敏感的 LLM 在线服务（商品描述生成、query 改写、对话推荐）中，可把已有 AR checkpoint 继续微调成 block proposer，一次 forward 生成多个后续 token，省去额外 draft head，直接降低串行 forward 次数。
• 若业务要求输出与 greedy AR 完全一致，采用 ProVe-lossless 自验证；若允许少量精度损失换吞吐，则接一个小 verifier，这样部署时可以按 QPS 目标动态切换档位。
• 对 Agent 多步推理或工具调用场景，长轨迹生成可让大模型一次起草多个步骤或工具参数，再用轻量 verifier/规则引擎快速校验前缀，减少交互轮次。
• 注意 block size 与接受前缀的关系：论文 block size 16 只有 6.6 token 平均匹配前缀，实际部署需按领域调 block size 并监控接受率，避免无效计算。

Other | 2026-10-19 | HF Daily | score 7/10

Speculative DecodingBlock DraftingVerificationThroughputLLM Inference

Beyond Parallel Blindness: Information Floors and Model Gaps in Block Drafting

超越并行盲区：块草稿中的信息地板与模型差距

🧭 LLM 推理加速 · 块草稿信息瓶颈

University of California San Diego

区分块草稿的固有信息损失与草稿器模型差距，量化短程条件可消除的上限损失

📌 工作参考价值（4 点）

• 在电商/Agent 的 LLM 推理服务中上 speculative decoding 时，先估计目标模型在目标块大小下的信息地板，判断草稿器是受信息约束还是模型能力限制；不要只凭 accepted length 做调优决策。
• 全并行块草稿的最后槽位信息损失上限约 0.286，考虑对块内前几个 token 采用串行或半串行生成（哪怕多一次前向），可移除 86–100% 的地板，对延迟敏感的对话式推荐/Agent 响应可能收益明显。
• DFlash/DSpark 的拒绝主要来自模型差距而非信息缺失，说明提升草稿器对前序已实现 token 的条件建模（如增量更新隐藏状态）比盲目加大块大小更有效。
• 该方法可迁移到 Agent 多步 LLM 调用链中，用信息地板分析并行化提案的固有损失，优化工具参数生成、多候选推理的延迟与质量权衡。

LLM | 2026-08-27 | cs.LG | score 6/10

Speculative DecodingBlock DraftingInformation FloorModel GapLLM Inference